Tổ tiên của Thường vốn là người huyện Hộ, Hữu Phù Phong [2]. Vào khoảng thời Thành, Ai 2 đế, cha Thường là Bác dời nhà đến Vũ Dương [3].

Cuối đời Tân, Thường sau khi báo thù cho em trai thì bỏ trốn đến Giang Hạ, về sau tham gia khởi nghĩa Lục Lâm cùng bọn Vương Khuông, Vương Phượng, được làm Thiên bì, theo nghĩa quân đánh huyện Bàng. Sau đó cùng Thành Đan, Trương Ngang nắm riêng một cánh quân đánh Lam Khẩu thuộc Nam Quận, gọi là quân Hạ Giang. Nghĩa quân bị tướng nhà Tân là Nghiêm Vưu, Trần Mậu đánh bại, Thường cùng Đan, Ngang thu thập tàn quân chạy vào Lâu Khê, cướp bóc ở khoảng giữa Tam Chung Sơn của Tùy Châu và Thạch Long Sơn của An Châu, chấn hưng lực lượng. Quân Hạ Giang đại phá quân Tân của Kinh Châu mục (không rõ tên) ở hương Thượng Đường, bắc tiến đến Nghi Thu [4].